import torch.nn.functional as F
import torch

input_tensor = torch.rand(5, 3)
print(input_tensor)

print('-'*40)

# ReLU 激活 ReLU（Rectified Linear Unit）：目前最流行的激活函数之一，定义为 f(x) = max(0, x)，有助于解决梯度消失问题。
output1 = F.relu(input_tensor-1)
print(output1)

# Sigmoid 激活 Sigmoid：用于二分类问题，输出值在 0 和 1 之间。
output2 = torch.sigmoid(input_tensor)
print(output2)

# Tanh 激活 Tanh：输出值在 -1 和 1 之间，常用于输出层之前。
output3 = torch.tanh(input_tensor)
print(output3)


